AI向善的理论与实践 | 「AI伦理与治理」系列首期实录

本文为未来论坛AI伦理与治理系列01期——《AI向善的理论与实践》实录稿。未来论坛成立于2015年，是由科学家、企业家、投资人群体共同发起创立的科学公益组织。AI伦理与治理系列旨在促进社会对人工智能伦理的关注和思考，联动学术界、科技企业以及相关专家学者，共同分析和定义科技伦理和治理挑战，为人工智能技术伦理和治理模式提供前瞻性的思考和对策，促进行业及学术界为解决相关问题付诸于行动。

（点击文末“阅读原文”观看直播回放）

导语 / Introduction

人工智能（AI）技术的发展正在重塑当今社会生产方式与产业结构。AI在提升生产效率、赋能产业的同时，也为社会带来了全新的挑战。自动驾驶汽车交通事故的防范与归责、新冠疫情下个人隐私的保护、人工智能技术的应用对就业的影响、技术是否会引起贫富差距扩大等，均成为公共讨论的议题。如何应对AI可能对社会产生的负面影响？AI伦理与治理的讨论应此而生。“如何避免大数据时代下个人隐私形同虚设?”“代码是否具有道德?”“人工智能时代的道德代码如何编写?”贯穿在对这些现实问题的思索与回答之中的，是两个根本问题：何为“AI伦理?”又何为“AI治理?”“科技向善”，何为“善”，如何“向”？本期活动，即意在与学者、企业家的对话过程中，探索这两个问题的答案。

- Florent Hauchard -

开场陈述

技术改变世界，世界需要治理

@洪小文

我是洪小文，今年在微软第26年，负责微软大中华区的研发工作。就我自己的经历而言，大学就学习AI，在卡内基梅隆读研究生期间也是学习AI，我念AI完全是因为它是一个非常有趣的话题。AI发展曾经过两次冬天。我毕业于1991-1992年，就是第一次冬天的尾巴。那时我们都不敢说自己是做AI的，因为很难找到工作。我说我是做语音识别的，因为那时语音识别还是有很多应用，比如电话应用等等。今天AI变得很热。当然，这也说明AI还是很有用的，要不然根本不用讲治理和向善。AI可以增加创造力、商业竞争力，但是我认为还有很重要的一点就是AI是不是“for all”，能惠及每一个人。

我们今天讲的是AI，但事实上AI需要大数据（Big data），需要很多计算（Compute），这也是我常说的A、B、C，因为如果AI没有了计算、没有了大数据根本成不了事。事实上今天我们讲的AI是整个技术的整合，包括硬件软件等高科技成果。所以我们讲AI治理的时候也是讲所有高科技的治理。我们做技术的人常常说，技术会改变这个世界，而世界需要来治理，这就是我们今天所讨论问题的核心。

@郭锐

谢谢洪老师的分享，洪老师的分享把我们带到历史的语境下，每当我们看到技术的发展，总是看到新的东西，这当然是技术让我们特别感到兴奋的地方。洪老师刚才讲到当年的AI研究的情况。一方面我非常敬佩洪老师在AI经历了冬天之后仍然在这个领域里面坚持，直到成为这个行业的技术领袖；另一方面，我们也看到，这个技术也许没有那么新，而且技术还会继续向前发展，这也意味着我们也许会遇到更多的问题、我们会有很多干预的机会。我们可以通过引导技术发展的方向来解决问题。特别感谢洪老师。下面有请漆远老师分享。

科幻正在变为现实，可信与治理是关键

@漆远

大家好，我是漆远，来自蚂蚁集团，和洪院长一样也是一直从事人工智能的学习和工作。我本科学的是自动控制，硕士读的是“模式识别”，博士学的是“机器学习”，他们都是“人工智能”的分支。以前在MIT媒体实验室工作的时候，觉得当时大家研究的东西都比较超前，像是科幻电影里的内容。其实当时有个Tom Cruise演的科幻电影叫做“Minority report”，电影的科技顾问是实验室的一个毕业生，他用了很多内容都是取自实验室的研究。当时还是实验室的研究和电影里的内容，现在都已经变成了现实应用。比如金融服务里的的文本分析，比如计算机视觉技术等等，都在实际得到应用。这些技术以前觉得很科幻，现在慢慢都在变成现实。

由此带来一个核心的问题，AI从理论变成现实后，我们要关注它的可靠性与治理。我以前是大学老师，做理论研究，现在在蚂蚁从事AI研发与实践，作为蚂蚁的首席AI科学家，过去几年我的一个主要工作就是建立核心AI团队，构造AI实践体系并在风险控制等领域落地使用。在实践中发现，AI治理和可靠性的越来越重要。因为要想系统稳定，必须保证技术的可信可靠。就可解释性而言，比如说很多决定本身——尤其跟金融相关的——你要理解它为什么做这个决定，才能更好的理解它如何防范风险。还有隐私计算：我们如何可以打破数据孤岛，让多家机构合作的同时，保护各方的数据隐私和安全？十几年前麻省理工学院研究过一个比较冷门的科研话题，叫做“保护隐私的逻辑回归”。现在这个方向已经发展成了如火如荼的“隐私计算”。相关很多话题变成了和老百姓生活及行业发展密切相关的问题。如果要保证科技向善，治理就变得越来越关键。

@郭锐

谢谢漆远老师。漆远老师是行业的顶尖高手。有时候最厉害的科学家能够看到技术真正的潜力和产生的影响，让像我这样并非技术专家的人感到羡慕。我们以前认为存在于科幻世界的技术，其实已经用在我们的生活中。漆远老师提到了非常多的话题，比如公平性、隐私保护等等，我们下面都会讨论到，也非常期待漆远老师下面接着来就这个继续话题讨论。下面请薛澜老师，薛老师是在治理领域非常有影响的学者，也亲身参与了中国AI治理的顶层规范制定和实践工作。有请薛澜老师。

- Christy Lundy -

面对技术风险，平衡向善益处与负面影响

@薛澜

我跟洪小文老师一样，也是卡内基梅隆读的博士，我们在CMU的时间前后应该差不太多，当时CMU的人工智能研究得如火如荼，当时有一个非常有名的人工智能项目叫“SOAR”（音），由CMU的西蒙教授（Herbert Simon）和纽维尔教授（Allen Newell）牵头从认知理论的角度来构建人工智能体系。而且美国当时机器人的研究非常热门，CMU也有美国最好的机器人研究所，当时我的一位师兄也是研究机器人对就业的影响，所以当时对这个情况也比较熟悉。我的研究领域一直是科技创新政策，自1996年回国以后，我们研究的科技政策，更多关心的是怎么样推动科技创新，帮助经济社会发展。中国在科技创新领域总体来讲比较落后，我们更关注如何把先进的科技创新引到中国来促进经济社会的发展，更快地学到这些技术，更快地把它们应用。

随着中国不断的发展，我们发现在很多新的技术领域，我国已经开始逐渐走在前沿，并开始尝试它的首次应用。前几次工业革命，我们用的技术都在很多西方国家已经用了很多年，所以它的各种弊病和问题也都研究得比较透彻，到中国来应用的时候应该是比较成熟的。但是到第四次工业革命，我们也已经走在前列，所以出现很多新的技术，其背后有很多不确定性。例如，人工智能技术，基因编辑等都有同样的共性：有可能给我们带来巨大的好处，改善公众的福利，也可能产生一些潜在的问题，带来巨大的风险。

所以七、八年前我开始关注这方面的问题。我们应该在技术发展的过程中高度关注相关的治理问题，这样就能够避免这些技术发展前期不加注意，到后来真正产生大问题。因而导致市场对技术的应用产生更大的抵触，甚至可能会导致技术难以发展。郭老师也是这方面的专家，我们经常在这方面合作，包括今年年初由信安标委发布的我国人工智能技术风险治理指引。2019年6月，我国人工智能治理专家委员会推出一个人工智能治理准则，希望在这方面给相关企业以及研究者提供指导。当然，真正怎么去落实这些准则、抑或是去解决这里面的问题，还需要讨论很多。

我认为有几个方面需要考虑：一是技术应用带来很多向善的益处时，可能存在潜在的负面影响，这一点需要关注，需要了解清楚。二是技术应用过程中有时候可能出现伦理问题，到底应用是否合适，会不会给社会或者个人带来一些负面的影响，我们怎么去权衡利弊。三是技术应用可能带来很多未知风险，其他几位都是技术专家，真正所谓通用的人工智能发展起来，会不会变成我们的主人，这也是大家都在讨论的话题。这种潜在的不知名的风险，也是大家比较担心的。最后，人工智能治理的执行也存在极大的困扰。其他技术的治理可以通过具体的技术指标调控来实现，比如汽车，可以通过限速系统（Speed limit），将开车的速度加以限制，来获得一个控制的平衡点。但是就人工智能的治理而言，我们根本不知道它怎么做决策，所以这给治理也带来很大的挑战，这些问题需要予以特别高的关注。

@郭锐

谢谢薛澜老师高屋建瓴的评价。薛澜老师刚才的评论把我们带到的当代科技治理的语境中。以往中国在技术发展上往往是追随者，现在人工智能领域，中国站在了世界科技前沿，这当然也意味着我们要面对一些从来都没有遇到过的技术和治理问题。对薛澜老师提出来的问题，我也期待听到技术高手的回答，下面有请美团的夏华夏老师。

AI技术的挑战：隐私、公平、安全、就业问题

@夏华夏

我做人工智能属于半路出家，因为我的博士论文是有关“大规模分布系统”的研究，毕业之后我在谷歌、百度工作，跟人工智能的应用比较接近，2013年加入美团之后，我就开始更多地真正从事人工智能的应用，现在负责美团的AI委员会以及智慧交通平台。我可能更多从企业在应用中遇到的人工智能治理相关的问题展开。就像洪老师所说，人工智能肯定是一个非常有用的新技术，但是任何一个新技术也会带来一些挑战。

第一个挑战就是隐私问题，当然隐私问题不仅仅是人工智能带来的，在更早的时候，比如大数据时代就已经出现了，因为在信息时代，大家的信息几乎无处可藏，不管是在网上还是面对生活中众多的监控摄像头，特别有意思的是，人们甚至在社交网络上进行人肉搜索，这些其实都让保护个人隐私成为挑战。当然隐私的保护标准与整个社会或者族群对隐私的认知有关，国家之间也存在差异。有次我跟外国教授聊天，当他们听说我国在很多道路上安装安防摄像头以大大降低社会犯罪率的时候，他们觉得有点不可思议，因为他们觉得个人隐私更重要。而国内很多民众可能认为，为了公众的安全，在某些情况下可以让渡一部分隐私。这反映出族群之间的观念差异，但是现在隐私的确是一个大家都比较关心的问题。

第二个挑战是人工智能公平性的问题，公平性涉及多个方面：其一，信息获取是否公平。是当人工智能逐渐应用于数字时代，商家可以给用户推荐很多信息，就导致在一些场景下出现信息茧房的问题。其二，从使用技术的角度来看，当我们在使用人工智能技术的时候，这种技术的易用性导致每个人看到的信息不同，比如不同的族群、不同教育程度的人，包括老人等弱势群体，他们接触到的信息可能不同。现在许多老人不会使用人工智能时代的新工具，所以这些新技术是不是成了“少数人的技术”？其三，商家提供服务的时候是否存在之前网上比较热的通过人工智能技术进行“大数据杀熟”？因为商家通过大数据和人工智能技术，在某些场景下会对不同的用户提供不同的服务。公平性是人工智能带来的一个比较大的问题，需要我们加以解决。

第三个挑战是安全问题，一方面是技术安全，人工智能本身需要保证技术的可靠性与稳定性，但另一方面，人工智能的出现也让我们很容易获取大量数据，导致数据欺诈等数字犯罪的成本降低。因此，安全问题其实是人工智能时代带来的一个比较新的挑战。

第四个挑战是就业问题，当人工智能变得越来越普及，当技术自动化变得越来越成熟，我们会发现有一些行业逐渐出现人工智能技术足够取代一部分人为的劳动，未来人工智能技术跟很多人类的就业岗位之间是一种什么样的关系，这也是包括美团在内的很多企业在使用人工智能技术时很关心的问题。

@郭锐

在中国，我们在很短的时间里经历了一场生活环境的巨变。早先，有留学经历的人对此特别有感触：到了外国，突然间发现环境陌生得让自己无所适从。这个感触，现在所有的中国人都有。在过去短短的10年里，我们整体经历了一场从线下搬到线上的环境改变。这需要我们在新的语境下思考隐私、公平性和安全性等问题。历史学家讲到过去的科技革命的时候说，新技术在消灭一些传统职业的同时，也会创造新的职业。我们在过去十年亲眼见证了这个过程。

在我们今天邀请到的嘉宾中，有行业技术领袖，有专业领域的顶尖高手，也有公共治理领域中的学术领军人物。作为今天的主持人，我感到特别荣幸。在我的专业领域，人工智能的伦理治理也是非常新的话题。我对这个领域的认识，开始于2017年一个非常偶然的机会。一位科学家朋友邀请我参加人工智能伦理标准的研究项目，之后我开始产生兴趣，并且在人工智能伦理和治理问题上投入很多时间。依我自身的认知，我觉得也许人工智能和其他传统的技术不同的地方，在于它的自主性——不管是由于人工智能技术本身的特征、还是在应用的过程中社会赋予它特定的角色，我觉得人工智能的独特之处在于它参与了我们的决策。

过去几年，在参与人工智能伦理和治理的有关工作中，我也向包括在座的几位技术领域的高手学习了解了很多科学概念术语以及技术原理。我觉得如果要想很好地应对技术带来的问题，不仅需要传统意义上、政府在立法政策上的应对，也需要企业的应对；不仅需要技术专家的参与和支持，更需要包括每一位用户在内的整个社会的参与。我们今天的活动是通过直播公开举办的。未来论坛的同事告诉我，今天的讨论将会有50万人在各个平台上观看。我想，这个论坛的讨论本身，就能够对人工智能的良好治理起到促进作用。

- Jason Solo -

议题讨论

议题一：人工智能将会对人类社会带来哪些挑战？近些年AI的发展，已经产生了哪些问题？社会应该如何应对？

@洪小文

1.技术导致的不良后果其实源于人类自身；

2.微软人工智能设计原则：合法与主权、负责、透明、公平、可靠与安全、隐私与保障、包容。

怎么样让技术促进经济发展？怎么样让技术促进社会进步？在大多数情况下，技术都是好的，而在技术被广泛应用后，也产生一些大家所担心的负面隐忧，英文叫“Techlash”。

这里举一些例子。首先，每个国家的经济发展程度不同，如果有些人可以使用到最新的技术，而有些人不能，这就可能带来发展的不均衡和落差，带宽、网络的就是这样的例子；另外，关于安全、隐私的问题大家也谈的很多。比如社交媒体中出现假新闻，如果不小心误传误信，就会影响决定；还有数据和技术偏见的问题。有数据就一定会有偏见，因为体量再大的数据也不可能涵盖所有方面；再有就是关于AI在武器上的使用以及技术取代人类工作的问题等等。我认为水能载舟，亦能覆舟，不能说技术无辜，但是真正的问题还是在于技术背后的创造者，在于怎么使用技术，因此技术导致的不良后果其实源于人类自身。制造者、用户、政府、受影响者都是重要的相关方。

微软1998年提出了人工智能的相关原则（“Responsible AI”），要求以负责任的方式设计人工智能。其中，最基本的原则就是合法与主权。对数据及人工智能治理而言，今天很多规则性的内容都会变成将来的法律规范。微软作为一家跨国公司，在任何国家或地区经营都要保证合法性、尊重其主权。第二是负责，任何技术和产品都有其设计制造者，要对技术和产品的部署和运营承担责任，包括法律以及社会等各方面的责任。第三是透明，设计制造者要能够解释程序如何设计，尤其是数据的收集，更需要透明化。比如当摄像头被安置在公共场所搜集数据的时候，需要提前告知数据被收集对象，进入数据收集区域其头像信息可能会被采集。第四是包容，做任何东西都需要考虑到所有的人，也要求我们创造的技术能够服务每个人，包括少数族群，残障人士，所以开发这些人工智能技术的时候需要考虑如何保证它的包容性。第五是隐私与保障，有些人利用互联网或者AI在网络上做一些不道德的事，比如说“黑客”、“钓鱼”，对于系统或平台而言，很重要的时要保障用户不受网络骚扰、身份信息不被窃取，以及避免产生一些实质性的灾难；第六是可靠和安全，任何AI系统都不可能万无一失。例如一个GPS系统，即使只要有万分之一的机会把司机引到悬崖，那也是不安全的。所以怎样做到安全可靠在AI领域中非常重要。机器学习都会存在一定误差。问题在于，存在误差的时候如何预防风险，如何提供更进一层的安全保障。第七是公平，坦言之很难做到，因为没有绝对的公平。在现实条件下存在很多偏差或偏见，这些偏见或偏差可能来自数据，可能来自我们的固有认知，可能属于一种社会偏见，毫无疑问，每个人都存在偏见，问题在于怎样不把偏见带到我们所制造的东西里、怎么样避免这些偏见。

最后，技术都是死的，我们才是制造者与使用者。所谓的AI道德，最后反映的是我们的道德，是我们的价值观。对于科技工作者而言，需要把正确的价值观与道德纳入技术语言中进行表达，但即使这样还不够，还需要跨领域的合作，需要法学家、社会学家、人类学家等都参与进来，才有可能把这个做得尽量完善。

@郭锐

谢谢洪老师。我有两点思考，一是这个规制框架是否可以拓展，我认为它现在可以用于专用人工智能领域，在未来向通用人工智能行进的过程中，这样的框架是否可以继续适用，还是我们需要一些新的道德准则？道德准则是否可以内化在算法之中？洪老师讲到的公平性问题，与此密切相关。二是洪老师提到一个关键词——信任，社会对技术的信任至关重要，中国在过去20年特别是近10年来在人工智能领域的发展，很大程度上借力于社会对于技术的拥抱和信任。我记得薛澜老师讲到过信任的重要性，下面有请薛澜老师，对这个问题给出点评。

@薛澜

1.AI改变了人类与技术的关系；

2.信任问题。

关于刚才谈到信任的问题，第一，从某种意义上讲，很多传统技术是相对被动的，所以人类的应用行为显得比较主动。但是我觉得人工智能技术的不同之处在于，好像它不完全听从我们，因为人工智能还具有智能性，因此我们与技术的关系好像发生了改变。如此一来，我们有时候的确担心它会不会错误决策导致不利的后果。我们对传统技术占据主动权，清楚知道这些技术能做什么、不能做什么，但是使用人工智能技术进行人机交互时，有时候感觉不一定敢那么自信。

第二，我觉得对技术开发的公司而言，信任问题需要被重视，特别是隐私问题。正如刚才大家所说，鉴于人工智能技术在应用过程中搜集了大量数据，如果我们百分之百地信任这些公司，比如说用户知道技术公司只是把数据作为一个机器学习的原料，那对于它们收集数据的行为，我不会太担心。但是，现实中有些技术公司或其中的部分员工存在不道德地利用信息的可能，比如把个人或非个人数据汇集在一起得到更多的信息，或者把这些数据打包在网上拍卖，这些行为我们都看到过。所以从用户角度来讲，我们就希望非常清楚地知道智能公司的开发系统如何运行，对我们数据的处置是否合理。

@郭锐

谢谢薛老师的点评。人工智能技术和其他技术相比，能够更加直接地作用于普通用户。比方说，如果能源的相关技术改进了，我们就会看到日用品的价格下降，或者用电的价格下降，但人工智能技术好像可以直接对我们产生影响。在数据领域中，如果我们意欲使用某个技术，可能需要技术的部署应用企业收集我们的信息，但同时我们又担心所收集的信息是否会被误用。刚才华夏老师也提到了一个很重要的问题——隐私问题，从您的角度来看，我们怎么应对人工智能技术对社会的影响？

@夏华夏

1.隐私问题：数据归属于谁，如何保护用户隐私？从两个层面加以分析：一是提高透明度，二是企业自律。

2.安全问题：需要多方共同参与法律法规的制定与完善。

我觉得洪老师的架构图总结得非常好，尤其是把法律法规放在底下兜底，上面包括隐私、公平这几个问题，内容全面、层次分明。说到数据隐私的问题，现在很多企业都掌握着大量数据，我们也在思考如何合理保护用户隐私，这个问题蛮难的，有时候数据的归属问题并不是那么清楚。

前几天跟龚克老师沟通的时候，他提到当我们去医院拍一个医学影像片时，医学影像的数据到底属于谁，是属于用户吗？医院的确是拍的是用户的片子，但同时如果没有医院、没有工作人员通过仪器加以采集，没有医生为他做各种医学诊断或判断，这就不是一个完整的数据。因此至少有三方跟这个数据有关系，数据的所有权归属问题比较复杂，在此基础上，怎么保护最终端用户的隐私，也是一个蛮有挑战的问题。一方面，刚才洪老师在框图第二层中写的是是透明度，透明化对于隐私来说是一个非常好的解决之道。当科技企业收集用户数据的时候，企业会告诉他该数据在未来可能会有哪些用途，这种告知就是解决隐私问题非常重要的手段。如果技术足够成熟，每次调用用户数据的时候，系统都能自动通知每个用户，这就使用户更加安心和放心。再一个方面，保护数据隐私，可能还要从企业的自律方面做很多工作，企业到底怎么使用、内部数据谁能看到，是一个非常重要的问题。比如在美团为此专门成立人工智能治理委员会，内部制定了很多数据使用的规则和规范，划分了诸多数据的保密级别，高密级的数据只有在极少数的情况下通过专门的程序才可以调用，这样就能够比较好地保护用户的隐私。

此外，整个数据的安全性也是一个很重要的技术要求，AI系统或者用户数据的数据库不能轻易被黑客攻击进来。当然，兜底还是要靠法律法规。洪老师把法律法规列在底下非常合理，就人工智能治理而言，不管是安全、隐私、公平还是就业，法律法规最终是一个兜底方。最近国家也在非常积极讨论数据保护的相关法律法规，这些法律如果得以应用，对于企业是约束，对用户是更放心的事情。未来隐私会是一个需要大家共同参与才能解决的系统化问题，法律法规也是如此。

@郭锐

谢谢华夏老师。大家都对法律寄予很高的期待，各国立法者好像都在进行技术追赶，很多法律学者都开始关注这个领域，都想知道怎么样应对人工智能带来的问题。但是，作为一个法律人，我想说我们必须看到法律本身的特性。立法是一个缓慢的过程，可能需要集中民意，通过诸多论证之后才能完成立法。反倒是在技术和行业层面上，能够更快地对问题做出回应。

我注意到前面几位老师都是从现存的AI技术出发来思考AI系统及其给社会带来的问题。我最早思考这个问题的缘起，相信和今天参与直播的很多观众一样，是关注AI技术的潜力。我想请教一下漆远老师：很多人真正思考AI伦理问题，是因为看了一些科幻电影。科幻电影里面经常出现的一个场景，是AI的智能大大超过人类，甚至对我们的生存造成了威胁。在技术领域里面，大家对于通用人工智能甚至超级智能是否可能实现有不同的看法，我想请教漆远，您认为通用人工智能可不可能实现，有没有可能给我们带来生存上的危机？再请您对这个问题的整体进行回应，一会儿有机会也想听听大家如何看待这个看起来有点遥远的未来问题，下面先请漆远老师。

- Jason Solo -

@漆远

1.未来能否实现通用人工智能？并非绝无可能。

2.AI治理需要推进与法学、经济学等结合的跨学科研究

在一个机器学习学术的顶会里有过一个调查：你觉得什么时候通用人工智能何时会实现？即使在一个非常专业的技术会议里面，答案也是百花齐放的——有人认为五年，有人认为五十年，有人认为永远不可能。这个反映了什么？说明对科学的预测本身是非常难的。现在学界业界比较关注的是深度学习。现在有个说法是“大模型即正义”。自然语言处理等模型参数从以前的百亿级到现在的千亿万亿级。海量的数据和计算使得大模型能力越来越强。比如使用大规模自然语言模型可以自动写出真假难辨的新闻，——当然，这是另外一个话题，即数字生活安全与可信问题。但是面对如此强大的自然语言模型，如果我们问2+3是几？它能回答出来，但是如果问“1525091+8747721”是多少？它就无法回答了，能力还不如一个简单的计算器。这背后说明一个问题：从人工智能围棋程序“Alphago”到现在一系列数据驱动的深度学习技术出来以后，很多人都对人工智能的发展比较乐观，但其实现阶段的人工智能所具备的推理能力还非常低的。

人工智能可以有很多条发展思路，现在大家看到的深度学习只是思路之一。未来把知识、人的推理能力和数据驱动的深度学习结合在一起，可能成为未来非常重要的发展方向。在这个目标没有实现之前，也就是说在AI在不具备常识推理的能力时，实现真正的通用人工智能是不可能的事情。换句话说，AI目前像一个走火入魔的练武之人，它在某一个领域特别厉害，但是稍微改一下领域，它可能会出大问题。AI的推理能力、可解释性都是非常关键的问题，如果没有解决这些问题，我们谈的通用人工智能是不太可能的。

但是从另一方面看，也不能说绝对不可能。今天我们在这一个有意思的时间点上，未来有各种可能性。如果把几种技术思路和因素结合在一起，或许能够在通用人工智能的路上大踏步走出一步，这谁也不知道。就像在2010年深度学习兴起之前，深度学习背后的很多思路早就已经有了，但并没有落地推广。随着海量数据和强大计算能力的到来，深度学习在十年间突飞猛进，被业界大量使用。我们谁都不知道会不会有新的种子点燃新的剧变。但是我们必须努力的是在人工智能技术被广泛使用的今天，如何治理AI技术，保证AI技术的可靠和可信。打一个比方，假如我们不知道如何管理高速公路，最简单的方法是关闭高速公路。但如此一来会降低大家通行效率。这显而易见不是我们想要的治理方法。我们会通过建立红绿灯等交通管理系统进行管控。类似的，我们要在发展AI的同时，做好AI治理系统和相关技术研究。而要做好这个，需要对AI技术与法学、经济学等结合进行跨学科的研究和思考。跨学科的研究将有助于AI走向可靠的、可持续发展之路。

@薛澜

通用人工智能的技术发展边界问题

通用人工智能是个非常有意思的话题，我想趁这个机会问一下三位专家，假设人类实现通用人工智能以后，AI有可能做出更多更能干、更强大的事情。但是，通用人工智能发展到某个阶段，可能会对人类产生一定的威胁，在这样的情况下，我们到底应不应该开发这项技术？一般性地讨论时，大家都会说科学技术研究应该无止境、无前沿，走到哪算哪，但当我们预料到某些问题的时候是否应该按下暂停键？在通用人工智能技术开发方面，它的界限要不要设、应该设在哪儿？想请三位专家来帮我们解答一下。

@洪小文

“实现通用人工智能”的说法并无现实依据；AI技术的控制关键在于规制其背后的制造者

第一，对于“实现通用人工智能”的说法我们还没有看到任何现实依据。第二，通用人工智能至少有两种，所谓“通用人工智能”，就比如我们人类自身，就是一种通用人工智能。我常常讲，“强人工智能很弱，弱人工智能很强”，什么意思呢？弱人工智能就是专家系统（Expert System），它只能做一件事，做得比谁都好，比如做一个特定物体的辨认系统，它就只能辨认狗和猫或者犯罪嫌疑人，这叫“Narrow AI”，它很强大；但是我们呢？恰恰相反——每样都懂一点，比如我可以谈治理，可以谈AI，也可以谈量子，什么都可以谈，但是我除了计算机是专家，其他都不是专家，因此事实上通用人工智能是很弱的。我们的孩子也是通用人工智能，你今天会教他做所有事情吗？当然不会，只会教他做某一件事情。所以，我觉得大家对通用人工智能不要抱以太多厚望。我们担心的其实是“超级人工智能”（Super intelligence），比方说这个人什么都懂，什么都是世界最强，有没有这样的客观存在？就目前所有对通用人工智能的研究来看一点影子都还没有，因为今天的人工智能根本没有具备系统化解问题的功能。试想，我们今天怎么造一个机器，让它解一个从来没有遇到过的新问题，让算法自己去解问题根本不可能。我们今天很多问题无解，就拿计算机里面，NP是不是等于P，没有人知道。对于某些问题，我们也根本不知道怎么解决，所以我觉得通用人工智能离我们很远。

讲到治理，谈一个没有的东西：时间机器（Time machine），怎么治理？这可能是哲学界可以讨论的问题，但今天我们对它的讨论不是哲学意义上的讨论。对于你刚刚的问题——如果有人说他可以做出超级人工智能来，我们该不该禁止？讨论这个问题前，我觉得考虑近期问题可能更为迫切，比如转基因或者基因编辑，就是“人造人”，基因工程可以造福人类，也可以为害一方，所以哪些科技应该得到发展，这也是哲学意义上的问题。还有一点我比较有信心的，人做任何事情都希望它可控，很多人担心我们创造的事物不可控，因此，任何一个科学家进行发明创造，没有人希望不可控，没有人希望最后把这个世界给毁了。除了疯子以外没有人会干这种事，但是怎么限制疯子呢？这又要回归到哲学性的探讨。如果人类真的实现了通用人工智能，我们能否控制它，在于我们需要控制其制造者。

@漆远

1.AI未来发展不好预测，但是实现通用人工智的概率不是零；

2.可靠性与信任：AI制造者负有责任，也需要将人和机器作为大系统整体来思考和分析；

3.隐私问题：协同行业共同发展“可用不可见”的隐私保护的机器学习技术，促进隐私保护与数据价值实现的平衡

几年前在麻省理工学院（MIT）顶尖科学家之间有一个非常好的辩论，关于通用人工智能。他们辩论的主题是——将来机器人是否能够像牛顿和爱因斯坦等科学家一样发现科学定律。几年前在一个电视节目上我和伯克利的杨培东教授、清华的鲁白教授和西湖大学的许田教授等人，讨论过一个关于未来的技术问题。当时，我也提出了这个问题。我没有答案，但是我感觉这是可能的。在MIT，这是一场非常激烈的辩论，在场的研究者分为两派，一派认为不可能、这个技术的“种子”不存在；另一派认为，为了实现这个目标，这个技术路线未来如何发展我们不得而知，但有可能实现。我们并不知道未来会具体发生什么，实现这个目标的挑战会非常巨大，但其实概率是零的事其概率才是零。就好比在金融风险领域不存在任何情况下绝对不会发生的风险。系统可控性同样如此，人人都想做出可控的系统，但是系统经常就在我们以为可控的时候出现不可控的情形。所以系统设计里面要留有所谓的“冗余”（Redundance），即理论上没有问题，但工程实现的时候，要留有冗余和余地。

这里就讲到信任和可靠性的问题。确实，人是第一重要的，现在的机器也是由人制造。在著名的科幻作家阿西莫夫提出的“机器人三定律”中强调，机器人必须听从人的指令，不可以伤害人。但是，假如我们未经认真思考，对机器人下达了一些不计长期后果的指令，就完全可能发生我们没有预料到的大规模风险。从无人驾驶到医疗服务、金融服务，机器正在参与越来越多的决策。认为只要控制住人，智能系统就没有风险，这其实远远不够的。一个原因是智能系统越来越复杂有很多无法理解的地方，所以前面我提到“可解释性”非常重要。技术人员往往希望系统是开放透明的，能够持续发展的。但是在技术发展成复杂系统后，就技术本身而言，普通人很难明白背后发生了什么、很难解释技术背后的原理是什么，系统里的因果关系是什么。现实中会很难认定事故背后的真实原因，是人造成的，还是系统的哪个因素造成的。不能简单的说，人是负责的（accountable），系统就是负责可靠的（accountable）。比如司机很称职，但如果刹车出现故障，同样可以导致车祸。所以需要将人和智能机器看一个大系统从整体来思考和构建可信可靠性。

数据隐私保护，是用户保护的问题，也是一个数字经济的发展问题。一方面涉及数据生产资料，但另一方面又事关每个用户的权益，如何在保护用户隐私的同时，让AI发挥数据价值推动经济持续发展，这也是一个非常关键的问题。隐私的反义词可以是“透明”，透明能够帮助信任，但就保护隐私而言，有些地方是不能透明和对外开放的。对于隐私保护来说，去标识匿名化是我们可以使用的技术方案之一。但如果将数据简单地完全匿名化，数据所含的有用信息量也会大大减损，数据价值降低。其实数据作为一种生产资料，就像大楼的砖头一样，砖头放在一起才能盖起大楼，单个的数据点很难产生巨大价值，只有互补的数据源合在一起才能让AI发挥最好的价值。

这里就引出了一个非常关键的问题：智能时代下的数字经济能不能既保护隐私，又发挥数据核变的经济推动能力？蚂蚁集团在2016年开始布局隐私计算、开发相关技术，在世界范围内我们拥有数量最多的隐私保护专利，包括“差分隐私”、“多方计算”、“可信环境计算”等技术。这些技术可以帮助数据可用不可见，但是他们有不同的安全等级。我们可以基于场景，把数据和隐私保护技术进行分析分类，把他们划分成不同安全等级，在某些安全等级下可以用对应的某类数据和技术。每一个安全等级都有对应的代价，就像越重的汽车往往越安全，但是也消耗更高的能量。我们要基于场景需求来选择适当的技术。最后，隐私是一个社会问题，需要更多的人来一起讨论，需要来自各行业的研究者和从业者共同讨论。世上没有一个绝对的答案，就像中国文化讲求的平衡发展，我们要在中间点上找到一条共同前进的路。

@郭锐

我以前听过一个笑话：有一个修车的人，他问医生：“凭什么修车的一个月就赚这么一点钱，医生就赚的比我们多得多？而我们做的工作是一样的，我就是把车上面坏的部分修好，你就是把人身上坏的部分修好。”医生说：“你是怎么修的？你把车停到修车库，抬起车，把损坏的零件取下来，订一个新的零件，把它装上就好了。我怎么干我的工作？我有一个病人正在呼吸，但是我要给他肺部动一个手术，要保证他在这个过程中不能死，还要让他减少痛苦，把这个手术做完，还要保证病人复建后很好地完成所需的一切活动，医生的工作要比你难得多。”我们在人工智能技术已经投入应用、而且实实在在地对社会产生影响。同时，我们还在进行技术方面的改进、实施各种治理方案，这需要我们像医生一样谨慎。存在各种各样和AI相关的技术和治理问题——隐私的问题、公平性的问题，还涉及到透明度的问题——如何在治理的同时，还能从整体上赢得社会的信任？以下我们转入第二个议题的讨论：如何应对人工智能治理问题？先请华夏老师。

- Eric Chow -

议题二：如何应对人工智能治理问题？

@夏华夏

保障AI公平性——美团“助老、助残项目”

很多技术我们没法禁止，技术的发展总在往前走，只要大家知道这个地方有一个技术金矿，总有很多对未知的事情充满好奇的学者，包括企业界的人，不断进行探索。今天讨论AI的治理，目的就是在技术不断往前发展的时候能找到一些规则办法，让越来越先进的技术继续走在向善的、帮助我们的用户及社会、甚至帮助整个人类的方向上。美团把人工智能应用于生活服务的很多场景，大概包括200多种不同的生活服务功能，包括吃喝玩乐、出行游玩，每个功能里面都会涉及人工智能。我们有很多例子与公平性有关，有时候不同的人使用人工智能技术的应用效果是不一样的，比如老人或其他残障人士往往不会使用人工智能的工具，我们在设计人工智能应用的时候，会特别注意帮助老年人、帮助弱势群体设计一些应用。我们有一个助老项目，专门开发一款打车程序，该APP字体特别大，且在APP的页面里不需要输入目的地，可以上车之后告诉司机你去哪，让司机帮助输入。此外，在这个程序页面里，老年人会有一个紧急联系人，APP可以实时跟亲属汇报老年人的位置，这样在年轻人来看很正常的一个APP，老年人也能够便利地使用。

再比如说我们有一些盲人用户，由于看不见，他们很难使用手机上的APP，但是为了让一些盲人用户能够在美团APP上点餐、打车，我们为他们开发了一个语音交互页面，这些用户就可以完全通过语音在APP上点餐、打车，后来发现这样的APP对很多老人、小孩也非常有用。这是在公平性方面美团所做的一点小的示例。就像洪老师说的，AI技术本来无所谓好坏，真正决定AI是向善还是向恶，则是使用AI的工程师、企业，美团希望在内部制定这样的规范，让人工智能技术能够帮助每一个用户。

@郭锐

我有一个对技术前景好奇的问题，在法律和治理领域有学者提出：可以把一些道德伦理的价值内化到代码中，在研究或者应用中是否存在这种道德算法？

@漆远

1.要慎重选择AI公平性的考量标准，要全面、多层次考虑；

2.就社会角度而言，蚂蚁集团开发支持弱势群体接入数字生活的技术、实施扶贫项目以促进就业；

3.就人与自然角度而言，蚂蚁集团通过AI实施环保项目。

就AI公平性而言，从技术的角度，到社会的角度，再到人和自然的角度我来讲几个例子。首先要有向善的心，但是好心不一定办好事。在技术上，要慎重选择和设计AI公平性的考量标准。一个经典的例子：辛普森悖论——在不同层面看问题会得出完全不同的结论。比如伯克利大学在统计男生女生的入学率时发现，1973年男生录取率40%多、女生30%多（在美国专门讨论各个种族、性别的大学录取率最能反映公平性，因为教育是最大的公平），似乎是女生被歧视了。如果再仔细看，将各个系的男女录取比例进行比较，就会发现每个系女生录取率不一定低男生，甚至比男生录取率还高，这是怎么回事？听说现在不少国外高校的录取系统都使用了计算机辅助决策系统，如果要把道德指标写入这算法决策系统里，怎么选定这个指标呢？是全校的男女录取率的平衡还是每个系的男女录取率的平衡？这是需要仔细考虑的。回到那年伯克利大学录取的问题，背后原因是什么？分析发现大量男生申请了录取率比较高的系，而女生普遍申请了录取率比较低的系，从而拉低了学校范围的女生录取率，尽管从每个系的角度看，男女录取比例基本一致的。如果我们录取更多女生，让学校范围的男女录取率更一致就可能导致在每个系里男生都比女生更难被录取，会是对男生的歧视。

还有一个非常经典的例子，在美国某个州关于黑人死刑判决里面是否存在歧视有过法律分析。当时的问题是否黑人杀人更容易被判死刑？整体看好像没什么区别，但如果按照“受害者是白人或黑人”或者“行凶人是白人或黑人”进行分类，并分开分析，就会看到一个完全不同的结论。所以要从不用层次细致分析设计算法公平性的指标，分析是否存在“辛普森悖论”， 否则也许会导致好心办坏事。更深入而言，公平性背后一个很重要的基础是因果分析——究竟是什么东西导致了当前情况的不一样，是自身不努力不负责导致的问题？还是先天条件导致其受到限制？针对不同的原因，治理方案是不一样的，背后涉及哲学和法律的思考。所以我们在设计这些系统指标时，需要哲学家，社会学家，法律学者和AI技术专家一起讨论，把哲学法律等人文的思考和技术结合在一起，才能实现持续良性的发展。

再讲个具体的例子。蚂蚁集团技术上关心弱势群体，支付宝开发了帮助弱势用户的功能。例如把APP菜单自动用语音读出来帮助视力有障碍的人使用支付宝。另外，为了防止黑产使用机器攻击，支付宝在用户身份验证时可能需要校验码来证明使用者是人不是机器。而对于盲人来讲，由于看不见就无法完成拖拉通过校验，就无法使用电子支付。蚂蚁技术人员开发了空中手势识别技术，可以帮助盲人通过身份校验。蚂蚁会把这个技术开源给行业，协同行业伙伴帮助更多人。

从社会的角度，我们用AI技术来帮助边远贫困地区就业。两年前我的团队通过“AI豆计划“开发一系列的AI工具帮助在陕西清涧当地人作数据打标。借助智能数据打标工具，没有经验的普通人也迅速上手。目前“AI豆计划”已在全国培训了2000多名从业人员，其中困难群众占比50%以上。让困难群众，尤其是贫困地区的女性，实现在家门口获得更多就业机会。

更大的角度是从人机器和自然的关系切入，保护环境。我们的AI技术团队在2019年开发了“AI垃圾分类”小程序和智能垃圾桶，使用AI技术来区分干垃圾、湿垃圾等几千种垃圾，提高垃圾回收和处理努力。我们也因此获得联合国绿色可持续发展“绿眼睛奖”。

@郭锐

谢谢漆远老师，漆远老师已经把我们带到了讨论的第三个主题。由于技术的进步前沿的研究和应用都在行业里面，所以企业也许需要承担更多的社会责任，这也是AI不同于传统技术的地方。薛澜老师在公共治理方面是真正的专家，从社会治理的角度看，我们想请薛老师就企业的社会责任给一些点评。

- Karolis Strautniekas -

议题三：从AI伦理和治理的角度看，科技企业有什么样的社会责任？

@薛澜

在AI治理领域，“敏捷治理”是处理政企关系的最佳方式

现在我们在人工智能领域讨论治理问题，企业要承担很大的责任。通常讲行业治理，政府作为治理者，企业作为被治理者中间，与政府往往有种博弈关系，政府出台一些规则以后，企业总想在遵守规则的情况下，使得企业利益最大化，甚至规避一些监管，这很常见。而人工智能领域的实际情况是，由于技术发展很快，政府作为治理者远远落后于企业。治理者在制定规则的过程中，技术已经往前走得很远，永远是一追再追（Catch up forever）。

对此，比较好的治理模式是“敏捷治理”，政府和企业都要改变观念。如果企业发展过快，导致以公众利益和安全为目标的政府管制无法企及。倘若此时企业出现一些问题、带来一些危害，政府就会把管制口袋扎得很紧，甚至一下就会把企业卡死，这样对技术的发展非常不利。怎样使得治理者和技术发展者之间形成良性互动，这就要改变原来政企互相博弈的关系，从猫抓老鼠的关系转变成搭档的关系。技术发展迅速可能会带来一些危害，如果政府没有及时采取措施，公众也会问责，所以政府对技术不及时下手监管，对技术发展本身也是不利的。“敏捷治理”要求政府与企业互相沟通，共同讨论潜在风险，谈判如何有意识地加以规避。鉴于不同类型的企业在不同发展阶段可能考虑问题不同，所以这时尤其需要成熟企业与政府合作，建立合理的治理框架，我觉得这是最合理的治理方式。另外，如果企业出了一点小问题，政府就一下采取非常严厉的规制手段，对技术发展也是不利的。政企要形成互动关系，企业要比原来承担更大的社会责任。

由于人工智能技术的复杂性，从某种程度上讲更加需要强化企业的自律。较之其他行业，社会对AI企业自律的要求更高，只有这样，才能够让人工智能技术更健康的发展。

@洪小文

与其担心AI导致的失业问题，不如关注教育。未来在孩子的教学课程中，至少应该安排不少于6年的AI通识教育。

我认为企业应当负担更多的社会责任。第一，法律只是最低标准，企业最先接触技术，法律在后制定管制标准，所以企业走在管制前面。微软这几年的转型很成功，很大的原因在于我们在同类公司里比较值得信赖，微软在191个国家有商务往来，尤其是2B的业务，守法是最基本的，没有信任根本行不通。尤其是高科技方面，因为涉及多方的利益相关者，我们应该要听取各方的想法。

第二，今天很多人把超级人工智能想像得像神一样，但没有影子不代表机率是零，做AI跟做时间机器，很难说哪一个比较难。但是，以假设实现超级人工智能的思路进行AI治理，完全是缘木求鱼，所以治理的关键是契合今天的AI技术。我可以保证人工智能再往前发展，不管进展怎样、能够做到什么程度，它背后的原理永远是“AI+HI”（人工智能加人类智慧）。我们希望这个制造群体可以做出最好的判断。

第三，至于人工智能会不会取代一部分人类的工作，很明显当然是会。从历史来看，一两百年前，90%的人从事农业工作，今天最多只有10%的人从事农业，而其他的90%并没有失业。汽车的发明导致马夫失业，这是技术发展的必然结果。技术更迭对职场的变化是必然的，更不要说新冠疫情更加速了这一变化，远程会议、线上教育，数字化让将来的工作场所可以无所不在。不管从政府角度、个人角度还是公司角度，与其担心就业问题，更应该关注教育，数字教育不只属于计算机专业的课程，实际对非计算机专业也一样重要。我个人觉得，未来每个人不论文科理科，都至少接受了12年的数学教育，那么对于计算机、大数据、AI等一些通用的数字技能而言，至少应该安排6年的通识教育，这不是自由班教育，而是大家所必备的基本的数字技能。此外，还要鼓励每个人终身学习。因为对于AI而言，10年前学习的东西和现在完全不一样。当然，还需要很好地职业技能匹配及认证系统，帮助大家进修以后找到更好的工作。

第四，牛津大学经济学家讲过，“The purpose of business is to produce profitable solutions to the problems of people and planet”（商业的目的不仅是利润，而是要能够创造解决人类和地球的问题的解决方案）。怎么样让AI解决人类的大问题，还可以实现盈利，这是每个企业都要考虑的。比如为节能减碳，微软去年提出“负碳”的承诺，到2030年实现碳的负排放，到2050年消除公司从1975年成立以来的碳排放总合。要做到负排放，首先要做到零，不是通过买碳税，而是要让包括云计算在内的所有的产品，都做到百分之百的零碳排放；在硬件软件的制造上，不仅要用再生能源，而且要更省能源；同时帮助我们的伙伴以及客户，减少他们的碳排放。当然，面对地球环境和气候的挑战，仅仅减少碳排放还不够，碳排放即使达到零，在大气层中怎样回收、怎么样捕捉碳排放，这也需要企业拿出资源资来，一起治理我们的环境，不仅为我们自己，也为我们的子子孙孙。

@郭锐

今天的科技企业和传统大企业相比，还有一个不同的地方，就是每一个“头部大企业”，包括美团、微软、蚂蚁等，最初都是建立在满足社会需求的愿景之上。比如在金融服务领域，因为有了支付宝，大大减少了人们去银行的频率。再比如在“新冠”疫情期间，如果没有美团外卖或者买菜等智能服务，整个城市都会停止运转，正是因为有了这样的新科技，让我们这个城市在经历这么一场巨大挑战的时候，我们能够挺过来。刚才漆远老师讲到验证码的问题，我也特别有感触。我在人民大学教授残障法，我们会邀请很多盲人朋友到课上分享经验或者给我们提供一些具体案例，曾经有一位盲人朋友分享在买火车票的时候，某款APP的验证码操作非常复杂，让没有视力残障的朋友使用起来都很麻烦，这导致他几乎没有办法从手机上买票。去趟火车站，困难又非常大。因此，支付宝的验证码真的是解决了非常实际的问题，这些都是科技企业承担社会责任的表现。正如薛老师刚才所讲，企业在“敏捷治理”里回应社会的呼声，的确是单纯的政府管理所无法取代的。

- Emily Iv -

问答阶段

问题一：如何明确和定义道德底线？

@夏华夏

把道德准则写到代码里的确是需要的，本质上我们去规范技术应用的时候就是由人来规范的，人有什么样的道德准则，最终就产出什么样的应用。使用AI时特别重要的是初心——企业的初心。最近有一个华人导演赵婷在奥斯卡颁奖晚会上用了《三字经》的“人之初性本善”，这跟今天的主题“AI向善”非常相符，本质上我们希望AI向善，就是在探究这个问题准则是什么。美团在内部做AI时也有类似的想法，美团要做负责任的AI，为用户负责任，为社会负责任，为人类负责任，这三个“负责任”把整个AI的使用行为规范起来，只要在这个规范之内，AI具体怎么实现，技术上怎么做、规则上怎么做，就不会出什么问题。

对于把道德规范写到代码，这些规范是分两层的，有一类是真正的准则（Principle），比如AI向善或者基本准则是不能违反的。还有一类是随着社会的往前发展，或者在不同的族群之间，大家对道德的认知、对社会规范的认知并不相同。比如一些国家因为宗教等原因，有各种社会要求，但是在其他国家，大家不觉得这样是必要的。有的国家需要女性非常严实的裹紧身体，但在美国西海岸都有一些裸体海滩，裸体感受日光浴就是一种享受方式。可见在不同的场景、不同的时空环境下，人们对某些道德准则的认定是不一样的，未来会出现一些在原则（Principle）之上的空隙性准则，它们会随着整个社会的认知发展而不断变化。

隐私也是如此，比如20年前我的英语老师告诉我不要问女生的年龄，因为这是隐私。现在大数据时代或者社交时代，每个人出生的时候，父母就在朋友圈把其出生年月日、体重都晒出来，所以年龄早就不是一个隐私。随着时间的变化，隐私的内涵也会不断改变。有一些原则我们要一定遵守，比如AI向善、企业初心，还有一些随着大家的发展认知不断迭代，但迭代背后也需要遵循“AI向善”的原则。

@郭锐

把问题带到既有具体的历史、社会语境中，大家对于何为善可能有不同的认知。但另一方面我们也看到道德社会的丰富性，让我们在今天的语境下对于善的意涵有更加实际和深刻的认识。

- johan papin -

问题二：如果AI犯了错，比如在自动驾驶中，可不可以像人类驾驶员一样，给它一个罚款或罚分来惩罚AI，如何落实这样一个责任？

@洪小文

我觉得机器不是生物，法律的规制对象是人，如果猫或狗做了什么坏事最终会归责于主人，更不用说AI是一个机器。

@郭锐

针对AI犯错的问题，最后还是要落实到人。一个不会思考的机器不会因为他受到惩罚而改变它的行为，最后需要人改变行为。当然，在我们今天的法律中，也存在惩罚一个没有道德意识的主体的情况——比如刑法里对法人犯罪的刑罚。但是在这种情况下，惩罚行为最后也会落实到法人的法定代表人等一些具体的个人。我们再举一个自动驾驶的例子。如果自动加水汽车出现道路交通事故伤亡，到底怎么处理？如果导致事故的决策都是系统做的，最后将转化为保险的问题。将来自动驾驶就像很多年马斯克所讲的，我们会觉得人类驾驶员太危险了。如果自动驾驶让道路交通事故的整体风险降低，我们应该转向自动驾驶为主的道路交通体系。无人驾驶的智能汽车出现事故，如何分配责任？可能还是要通过保险制度。不排除把每个自动驾驶汽车作为一个主体来设计保险责任。将来以这种主体为中心，建立责任、保险和分配风险的体系，并不是不可想象的。实现全自动驾驶尚需要一些时间，这正好给了我们思考责任体系如何设计的窗口期。

@夏华夏

我认为在自动驾驶中，关键还是这个车背后操控的人。是不是该惩罚，如何惩罚，我们要看事情的本质是什么，有刑事与民事责任之分。如果汽车算法、硬件没有通过严格认证，比如汽车在取得自动驾驶的牌照后才能上路测试，如果没有拿到上路测试牌照就私自上路，发生事故是要负刑事责任的。由于算法本身还不到足够可靠的程度，车的应用者要负刑事责任。此外，大家都知道计算机程序是没有百分之百可靠的，如果车已经过了基本的硬件软件安全测试，再上路的时候，也不能保障软件、硬件万无一失，如果在那个时候发生事故，车子的应用者可能不应承担刑事责任，但是民事责任还是无法豁免的，如果不是自己赔偿，可以通过保险程序进行赔偿。

@薛澜

相比我们目前的责任体系，我比较倾向于建立一个制度体系来分担此类风险，当然不排除这样的体系也可能存在一定的瑕疵，或者设计者本身可能是有问题的。但建立系统性的保险制度有两个好处：一是能保证这个技术得到广泛应用，二是能够保证一旦出现这个问题，人们就不用去担心是否追究开发者的责任，因为这个系统已经把责任的问题解决了，大家可以仔细分析事故背后的原因，而不必再去担心是否要自己来承担损失，这样的保险制度性安排很重要。同样地，疫苗制度的背后也有这样的考虑，由于疫苗接种者众多，很难排除个别反应比较严重的情况，这时候我们不能直接归责于疫苗的开发者与生产商（实际上也比较难），疫苗背后的保险制度，就可以对不幸碰上这种情况的人给予一些补偿，以解决这个问题。

- Jason Solo -

问题三：如何预防AI被不法分子利用的风险？

@洪小文

这个问题有前例可循，比如现在所谓的“黑客”“钓鱼”。但是工具本身具有中立性，比如一把刀，厨师可以用来切菜，但不法分子就可能会用来做坏事。对于通过AI、计算机从事不法行为的现象，我们需要依靠法律等社会的力量，惩治不法行为，减少该行为所造成的损失。

@漆远

这个话题我们在蚂蚁集团花了很多时间进行研究，就是通过AI甄别犯罪打击诈骗等黑产行为。AI确实产生了问题，但这是发展中的问题，说句绕口的话，我们可以用AI来推进解决技术产生的问题。比如，蚂蚁投入技术研发，帮助支付宝成为更可信的平台。我们用AI技术防止黑产“人的攻击”，也防止恶意的AI对我们的攻击。在去年疫情下，政府发了很多消费券，但很多人薅羊毛，我们用隐私保护的风控技术帮助保护商户数据、同时防止黑产薅羊毛，帮助商户有效营销，促进实体经济。对于数字经济而言，AI是一类非常基础的技术，蚂蚁集团研发了大量利用AI识别真假的技术，如通过“证件宝”软件识别真假，打击证件诈骗，保证数字经济安全。

@薛澜

这个问题非常重要，虽然现在美国把中国视作人工智能领域中的主要竞争对手，但恰恰是由于这种风险的存在，美国、中国和很多其他国家都应该密切合作，以避免这些不法分子对于社会及人类共同体的潜在攻击，这一点是我们合作的重要基础。

@夏华夏

通过两种思路进行规制：一方面，基于大数据的分析，AI技术本身可以帮助我们发现一些数据欺诈或者网络欺诈的行为。另一方面，需要法律进行兜底，如果没有法律的威慑，任何一项技术都可能被人用于不道德的事情，但是在法律的保障下，整个社会治理会在它的轨道上正常运行。

@郭锐

谢谢各位，技术给我们带来了很多好处，也给我们带来了很多挑战。从全世界的范围内看，AI将会怎么样改变社会，我们需要从技术上、治理上予以回应。这是一个新的课题。我们需要在全球的范围内，联合中国、美国、欧盟和其他国家共同来制定我们在历史的下一个阶段——如果技术能够定义历史发展的不同阶段——需要去共同遵守的准则。

主持人：郭锐 | 封面：Jason Solo

嘉宾：洪小文、漆远、薛澜、夏华夏

文字整理：卞哲、未来论坛  | 排版：光影

 延伸阅读

点击下方

关注未来论坛

关注未来论坛

一个承载人类科技梦想

用科学改变未来的公益平台

一个连接前沿科技

解读未来趋势的思想平台

· 点击左下“阅读原文”观看本期直播回放